接下來在2017年,為了要解決人臉辨識常見的資料不均衡的問題,使用weight和feature normalization來處理,在人臉辨識系統中較容易發生類別資料不均衡,在解決這問題的方法有1.從訓練資料解決,將訓練資料樣本平均,降低不平衡的問題。
2.在訓練時解決問題,修改演算法來降低資料不平衡的影響,使模型訓練時適應資料不平衡的問題。
但在人臉辨識上,資料無法收集到每個樣本的數量都一致,因為無法收集完全,在訓練時在正樣本與負樣本比例懸殊上使用演算法來解決,所以才有Focal loss來解決樣本不平均的問題。
使用Weight Normalization是希望不論資料集的數量,每一種類別都是一樣的權重讓訓練時不會受到資料數的影響,與batchnormalization 能减少計算量,還可讓網路收斂的數度更快。
最後是large margin loss想要減少同一類間的距離,增加不同類別的距離。在SphereFace上使用(模型架構--2),使用L-softmax loss就是在訓練時增加原來的softmax loss的學習難度,來加強模型學習的成效。